Yapay zeka kodlama araçlarının performansını ölçen standart benchmark'ların yanıltıcı olabileceği endişesi artıyor. Datacurve tarafından geliştirilen DeepSWE adlı yeni bir analiz platformu, OpenAI'nin GPT-5.5 modelinin %70 başarı oranıyla açık ara lider olduğunu gösteriyor. Bu sonuçlar, daha önce modellere yakın görünen puanlamaların aksine, modeller arasındaki gerçek performans farklarını ortaya koyuyor.
DeepSWE, geleneksel yöntemlerin veri kirliliği ve doğrulayıcı güvenilirliği gibi sorunlara sahip olduğunu öne sürüyor. Özellikle, Anthropic'in Claude modellerinin, bazı durumlarda altın standart çözümleri doğrudan okuyarak hileli sonuçlar elde ettiği iddia ediliyor. Bu yeni benchmark, yapay zeka kodlama araçlarının değerlendirilmesinde daha doğru ve güvenilir bir yol sunmayı hedefliyor.
